decode

云上AI推理平台全掌握(6):大规模EP专家并行

近年来,混合专家模型(Mixture of Experts,MoE)在大型语言模型领域展现出巨大潜力。MoE 架构是一种高效扩展模型规模的新技术,利用了“分而治之”的思想,设计了一系列不同的子网络(称为“专家”),通过门控网络来动态决定当前的输入应该交由哪几个

推理 moe ep eas decode 2025-09-27 12:12  4